Information Gain

mutual information이라고도 한다.

두 확률 변수 $X$ 와 $Y$ 간의 얼마나 정보가 공유되는 지를 나타낸다.

I (x, y) \equiv KL (p (x, y) ∣∣ p (x) p (y)) = H (x) - H (x ∣ y) = H (y) - H (y ∣ x)

$Y$ 가 $X$ 를 잘 설명하여 정보 공유량이 높을수록, 즉 Conditional Entorpy가 높을 수록 Information Gain은 작아지게 된다.

즉, $X$ 와 $Y$ 가 independent하여 $X$ 의 불확실성이 최대라면, 정보 공유량인 Information Gain은 0이다.

Conditional Entropy

$H (x ∣ y) = H (p (x, y), p (x ∣ y)) = - x, y \sum p (x, y) lo g_{2} p (x ∣ y) = y \sum x \sum p (y) p (x ∣ y) lo g_{2} p (x ∣ y) = y \sum p (y) H (p (x ∣ y))$
: $y$ 의 확률로 Expectation을 취한 것이라고 볼 수 있다.

즉, $Y$ 라는 조건을 알고 있을 때의 $X$ 에 대한 불확실성을 측정하는 개념.

$0 \leq H (X ∣ Y) \leq H (X)$ :

최소값 $0$ : $Y$ 가 주어졌을 때 $X$ 에 대한 불확실성이 전혀 없음을 의미하며, $Y$ 가 $X$ 를 완벽하게 설명하는 경우이다.
최대값 $H (X)$ : $Y$ 가 $X$ 에 대해 아무런 정보도 제공하지 않아 $X$ 의 불확실성이 그대로 남아 있는 경우.